首页
下载应用
提交文章
关于我们
🔥 热搜 🔥
1
1
2
1'"
3
1'
4
朱令去世一周年,清华学子控诉清华在朱令案中的冷血和无耻
5
@亘古
6
抖音
7
张靓颖
8
kN
9
朱令
10
百度
分类
社会
娱乐
国际
人权
科技
经济
其它
首页
下载应用
提交文章
关于我们
🔥
热搜
🔥
1
1
2
1'"
3
1'
4
朱令去世一周年,清华学子控诉清华在朱令案中的冷血和无耻
5
@亘古
6
抖音
7
张靓颖
8
kN
9
朱令
10
百度
分类
社会
娱乐
国际
人权
科技
经济
其它
宾曰语云被法学教授投诉:严重侵权,“违法犯罪”!
当“上帝”变为“老天爷”
京东Plus的隐藏特权,很多会员都没领取,白交了会员费...
呼吁四川大学澄清:1998年1月,川大有多少个“姜涛与爱人程月玲”?
二湘:朱令去世一周年,清华学子控诉清华在朱令案中的冷血和无耻
生成图片,分享到微信朋友圈
查看原文
其他
ChatGPT的发展,需要量子算力......
Original
光子盒研究院
光子盒
2023-04-26
收录于合集 #科技进展
717个
光子盒研究院出品
自去年 11 月上线以来,ChatGPT 已被无数人使用,人们一直要求以各种形式让这个大语言模型接入更多数据。3月23日,基于GPT-4的新一代代码生成工具Copilot X正式推出;3 月 24 日,OpenAI 终于宣布部分解除了 ChatGPT 无法联网的限制。
短短几个月,ChatGPT已经在各行业掀起了巨大的波澜。
从写新闻文章到提供计算机代码,人工智能聊天机器人似乎已经取代了许多不同类型的工作。虽然这项新技术正在为许多不同的行业创造一个范式转变,但
ChatGPT仍在改进和发展,就像它的同行一样,如谷歌的Bard计划。
由于量子计算有望实现更快的数据分析和更彻底的优化算法,
进一步改进这些人工智能聊天机器人的方法之一可能是应用量子计算技术;
这两项新生技术的结合可以创造出比我们目前所看到的更加新颖的东西。
有什么办法比问ChatGPT本身更能理解量子计算的潜在好处呢?
当我们问该程序这个问题时,它的回答是这样的:“首先,量子计算可以潜在地加快机器学习算法的训练和推理过程,这可以使ChatGPT的反应更快、更准确。第二,量子计算可以帮助改善自然语言处理任务,这可以提高ChatGPT理解和生成类似人类语言的能力。第三,量子计算可以提供解决复杂优化问题的新方法,这可以帮助ChatGPT提高其决策和推荐能力。”
为了将ChatGPT与量子计算连接起来,许多专家认为,软件,如量子机器学习(QML)算法,应该是首要任务。
全球性科研机构Omdia的首席量子计算分析师Sam Lucero说:“我想说的是,虽然供应商之间有很多信心,但QML将显示出更多优势,生成性人工智能(像用于ChatGPT的那种)将是QML的一个良好的机会领域。QML有可能弥合人工智能和量子计算能力之间的差距,并提供一些重要的好处。“
大规模模型中可能的学习过程,可能使用稀疏训练,其学习的早期阶段可能存在量子增强。来源:https://arxiv.org/pdf/2303.03428.pdf
根据Lucero的说法,理论上,QML可以提供一种能力(也许是指数级的),相对于经典的生成式人工智能,可以减少实现相同水平的推理能力所需的训练数据量。
这本身就很关键,因为像ChatGPT这样的大语言模型是巨大的,训练成本很高(数百万美元),需要很长的时间(几个月),而且是能源密集型的,从可持续发展的角度来看,这不是很好(为数据中心供电的兆瓦级电力)。
此外,还有一个数据可用性问题:ChatGPT基本是在“互联网“上训练,但许多企业希望能够只使用他们自己的内部数据进行训练,但仍能获得同样水平的推理性能。这可能是一个用例的好处,或者是监管方面的好处(即使用受HIPAA保护的数据进行培训),此外还有成本、时间、可持续性等方面的好处。
QML不仅可以为未来的ChatGPT提供更具成本效益的模型,而且还可以以更快的速度运行、具有更高的数据容量、提供更强大的解决方案。
同时,QML也可以为模型的运行增加更广泛的数据:用于生成式人工智能的QML能够比经典的ML探索更广泛的搜索空间;实际上,这意味着QML应该更擅长一些任务(例如翻译成语),或者在两种在核心语法层面上结构非常不同的语言之间进行翻译。这对许多不同的领域有巨大的影响,涵盖从政治和国际翻译设备到重建失落语言的人类学等。
这些好处也可以帮助将人工智能聊天机器人的训练时间减半。
ChatGPT最重要的品质之一是它配备了来自人类反馈的强化学习(RLHF),使用这个的一个关键挑战是,模型在知道什么是“奖励行为“之前,必须经历大量的试验和错误。这意味着只有那些尽管模型最初有缺陷,但仍有能力公开训练的组织才能在游戏中获胜。
2023年3月,在arXiv的预印版论文《
为大规模机器学习模型开发可证明有效的量子算法
》(
Towards provably efficient quantum algorithms for large-scale machine-learning models
)中,学者们已经证明了容错量子算法可能有助于解决大多数最先进的大规模机器学习问题:预训练和微调过程中使用的巨大计算开销、功率和时间预训练和微调过程中使用的巨大计算开销、功率和时间。
实验数据和可能的量子计算优越性。
现在,量子语言模型实际上也已经在酝酿之中。
我们已经看到像剑桥量子(现在的Quantinuum)这样的公司已经开发了
用于自然语言处理的软件工具箱和库
可能正在开启一种趋势,在开发量子计算机的同时研究人工智能的语言模型。
对此,IBM表示,
“量子自然是在一个更高的维度空间中工作,在那里,数据可以更好地被查看或分离,或者我们可以更多地了解数据。因此,用量子来处理人工智能问题更容易。”
IBM超导量子计算机内部的“枝形吊灯”旨在将其处理芯片冷却到低于外太空的温度。
左:IBM 设计了灵活的布线来代替环状电线;右:从量子计算机接收的数据必须馈送到经典控制电子系统的机架以处理计算。
IBM 近年来已成为行业领导者。在IBM的System One闪闪发光的铝罐里,有三个圆周不断缩小的圆柱体,就像一组俄罗斯娃娃一样,被蒙娜丽莎一样的保护玻璃所遮挡。这三个圆柱体共同包裹着一盏吊灯,吊灯中的银线通过厚重的金板层层叠叠地连接到底座的量子芯片。为了正常工作,这个芯片需要过冷到0.015开尔文(比绝对零度高一小步,比外太空还冷),大多数材料在如此强烈的冷却下都会收缩或变脆并断裂。
传统计算机依靠二进制“位”——打开或关闭开关,表示为 1 和 0——来处理信息,而支撑量子计算的“量子比特”是微小的亚原子粒子,它们可以同时存在于一定比例的两种状态中,而不是就像在半空中旋转的硬币。
这种从双变量处理到多变量处理的飞跃以指数方式提高了计算能力。
目前需要最强大的超级计算机花费数年才能解决的复杂问题可能会在几秒钟内得到解决。
量子也更符合自然。分子(宇宙的基石)是由电子结合在一起的多个原子,电子作为每个原子的一部分存在。这些电子本质上同时占据两种状态的方式是量子粒子复制的方式,通过预测药物如何与人体相互作用或物质在腐蚀下的表现,为自然科学和材料科学提供应用。
传统制造通过计算猜测通过反复试验取得突破;通过反映自然世界,量子应该允许有目的地设计进步。
未来的量子计算机可以开辟数学和科学领域迄今深不可测的前沿领域,帮助解决气候变化和粮食安全等生存挑战——
我们现在正处于量子革命的风口浪尖
。
人工智能领域的最大挑战之一是训练深度学习模型所需的巨大计算能力。
随着模型的复杂性和规模不断增长,像CPU和GPU这样的传统处理器正在慢慢变得不够用。如今,量子处理器(QPU),理论上比经典处理器需要更少的功率和产生更少的热量,有可能加速人工智能模型的训练过程。
不过,与人工智能不同,量子计算还没有达到公司可以立即展示改进性能和节约成本的程度。因此,企业围绕量子的话题是不同的:它更像是一种长期投资,企业和行业愿意与研究人员和初创企业合作,在技术可用时探索其潜力。
目前,企业还没有认识到量子算法如何为他们改变游戏规则,因为他们还没有达到那种成熟度,但会有一个拐点。当“IBM或其他地方的科学团队能够证明,与经典系统相比,他们如何通过使用量子计算机来大幅改善他们的业务”时,这个拐点将到来。
根据前沿咨询机构ICV的最新报告,量子技术有望在2026-27年达到关键成熟度,到2030年,
与最终用户建立紧密联系,开发更多实际应用。
全球量子计算下游应用规模(2022~2030)。来源:ICV Tank
这意味着,在未来三到五年内,我们将能够看到一种混合方法,其中量子计算机将与超级计算机和我们目前最好的基础设施协同工作,以解决棘手的商业问题,迎来解决问题的新时代。
这将通过使用量子处理单元来实现,它们将与CPU和GPU一起工作——英伟达的
GTC 2023大会
发布的DGX Quantum量子计算系统就应证了这一观点。
虽然这些好处可能会改变人工智能聊天机器人的游戏规则,但整合这两种技术的实际过程要复杂得多。
一些专家认为,下一步应该是将经典计算的人工智能模型与量子计算结合在一个混合平台上
。
“混合模式的重点是利用量子计算机实现对经典数据的学习的技术,而不是开发完全的量子算法,与量子数据一起工作。而像英伟达QODA等平台已经(在某种程度上)拉平了陡峭的学习曲线,因为开发混合量子-经典系统可以利用现有的经典软件栈、编程模型和库,这可以帮助加速量子计算的采用。”
由于量子计算机仍在开发中,而且相当脆弱和易变,很难说这种下一代技术何时会准备好对付ChatGPT。
如果两者最终走到一起,也许会发生类似于我们目前正在经历的范式转换。
参考链接:
[1]https://analyticsindiamag.com/quantum-computing-meets-chatgpt/
[2]https://arxiv.org/abs/2303.03428
[3]https://www.insidequantumtechnology.com/news-archive/inside-quantum-technologys-inside-scoop-quantum-and-chatgpt/
[4]https://time.com/6249784/quantum-computing-revolution/
相关阅读:
谷歌:GPT-4败北,转战量子人工智能!
刚刚!英国3.6 亿英镑投资人工智能、量子和生物技术
ChatGPT火爆的背景下,IBM量子计算与人工智能前景几何?
量子计算如何助力人工智能?
带你走进谷歌量子人工智能实验室
#
光子盒视频号开通啦!你要的,这里全都有
#
每周一到周五,我们都将与光子盒的新老朋友相聚在微信视频号,不见不散!
你可能会错过:
|qu|cryovac>
|qu|cryovac>
您可能也对以下帖子感兴趣
{{{title}}}
文章有问题?点此查看未经处理的缓存